01 데이터에 관한 윤리적 법적 고려사항 | ✅ 저자: 이유정(박사)

데이터 수집 순서

단계 1: 목표 설정 - 수집하려는 데이터의 종류 및 목적 정의 단계 2: 도구 선택 - 적절한 크롤링 도구 및 기술 선정 단계 3: 실행 - 크롤링 실행 및 데이터 추출 단계 4: 데이터 정제 - 수집된 데이터의 정제 및 가공

데이터 수집 방법

방법 1: HTML 파싱 - Beautiful Soup 등의 도구 사용 방법 2: API 사용 - 공개된 API를 통한 데이터 수집 방법 3: 자동화된 브라우징 - Selenium과 같은 도구 사용

윤리적/법적 고려사항

윤리적 측면: 개인정보 보호, 웹사이트의 정책 준수 법적 측면: 저작권, 데이터 보호법 등 법적 규제 이해

윤리적 측면

개인정보 보호

• 웹 크롤링 시 수집되는 데이터 중에는 개인을 식별할 수 있는 정보가 포함될 수 있으며, 이러한 개인정보는 특히 민감하게 다뤄져야 합니다.
• 크롤링 과정에서 개인정보를 수집할 필요가 없다면, 그러한 정보는 의도적으로 배제하거나 익명화해야합니다.
• 수집된 개인정보는 해당 국가의 개인정보 보호법 및 규정을 준수하며 관리해야 함

웹사이트의 정책 준수

• 대부분의 웹사이트는 '이용약관'이나 '서비스 약관'에 데이터 수집과 관련된 지침을명시하고 있습니다.
• 웹 크롤링을 실행하기 전에 해당 웹사이트의 약관을 검토하고, 이를 준수하는 것이중요합니다.
• 특히, 'robots.txt' 파일은 웹사이트에서 크롤러의 접근을 어느 정도 허용하는지를나타내므로, 이를 확인하고 따르는 것이 윤리적입니다.

법적인 측면

저작권

• 웹사이트에 게시된 콘텐츠는 저작권법의 보호를 받을 수 있습니다. 따라서 크롤링을 통해 수집한 데이터의 사용 목적과 범위는 저작권법을 준수해야 함.
• 특히, 상업적 목적으로 사용할 경우 저작권법 위반의 가능성이 높아짐.

데이터 보호법

• 각국에는 개인 데이터 보호와 관련된 다양한 법률이 존재합니다. 예를 들어, 유럽연합(EU)에는 일반 데이터 보호 규정(GDPR)이 있습니다.
• 데이터 수집 및 처리 과정에서 해당 지역의 데이터 보호법을 철저히 준수해야 함.

책임과 의무

• 투명성 유지 - 데이터 수집 및 사용 목적을 명확하게 하고, 필요한 경우 사용자의 동의를 얻는 것이 중요합니다.
• 책임감 있는 데이터 관리 - 수집된 데이터는 책임감 있게 관리되어야 하며, 데이터유출이나 오용을 방지하기 위한 적절한 조치를 취해야 합니다.
• 윤리적 기준 준수 - 데이터 과학자나 개발자로서 윤리적 기준을 설정하고 이를 준수하는 것은 데이터 수집 및 처리 과정에서 매우 중요합니다.